一 . 概述

最大似然估计（英语：maximum likelihood estimation，缩写为MLE），也称极大似然估计、最大概似估计，是用来估计一个概率模型的参数的一种方法。

二 . 交叉熵（cross entropy)

例子

1
2
3
4
5
p1 = 0.8 p2 = 0.7 p3 = 0.1

CE[(1, 1, 0), (0.8, 0.7, 0.1)] = - (ln(0.8) + ln(0.7) + ln(0.9)) = 0.68

CE[(0, 0, 1), (0.8, 0.7, 0.1)] = - (ln(0.2) + ln(0.3) + ln(0.1)) = 5.12

三 . 交叉熵代码示例

1
2
3
4
5
6
7
8
9
import numpy as np

def cross_entropy(Y, P):
    Y = np.float_(Y)
    P = np.float_(P)
    
    return -np.sum(Y * np.log(P) + (1-Y) * np.log(1-P) )

cross_entropy(np.array([1, 1, 0]), np.array([0.8, 0.7, 0.1]))

四 . 多分类交叉熵（Multi-Class Cross Entropy)